Trajectory-Level Speculation with Semantic Verification for Tool-Using Agents
工具智能体的轨迹级推测与语义验证
🧭 弱-强模型协作与推测执行 ★ 深度解读
LARK, HKUST (GZ) · Yinwang · University of Cambridge · HKUST
让弱模型草稿执行只读工具调用，强模型在不可逆动作前一次性 prefill 验证并修复，用验证替代逐步解码
📌 工作参考价值（4 点）
- 在电商客服/订单处理 Agent 中，把工具调用分为只读查询和状态变更：订单查询、库存查询、读用户记录等只读步骤可以由 4B 小模型草稿并立即执行；退款、改单、发 push 等写操作由大模型在提交前一次性验证，大幅降低大模型调用次数。
- 验证时用语义接受而非 exact match：不要求小模型步骤与大模型自己生成的一致，只判断该步骤是否朝任务目标有效推进。推荐/搜索 Agent 中，query 改写、工具参数选择可以有多种有效路径，这样能保留小模型的有效进展，避免无谓重生成。
- 工程上把验证 prompt 设计成只输出短 verdict：接受前缀长度 + 替换动作 + 理由，让大模型只解码少量 token 而不是逐步生成动作；融合 replacement action 能减少额外修复调用。
- 适合 memory-bandwidth-bound 的线上 serving：节省主要来自用一次 prefill 读取整段草稿替代逐个 token 解码，HBM-read 和 wall time 下降 40-50%；在云-端部署中可显著降低云端 output tokens 和 API 成本。注意如果小模型太弱、acceptance rate 过低，repair 次数会上升，节省消失，上线前需离线评估 weak-only 能力。